อภัย จันทวิมล เข้าศึกษาที่โรงเรียนเบญจมราชูทิศ จังหวัดจันทบุรี และเข้าศึกษาต่อในระดับชั้นมัธยมศึกษาปีที่ 8 ที่โรงเรียนสวนกุหลาบวิทยาลัย ต่อมา ได้เดินทางไปศึกษาวิชากฎหมายที่ประเทศอังกฤษ และสำเร็จการศึกษาระดับปริญญาโทที่มหาวิทยาลัยเคมบริดจ์ พ.ศ. 2459 นายอภัย สมรสกับ คุณหญิงทองก้อน จันทวิมล (สกุลเดิม บุณยัษฐิติ) พ.ศ. 2490 เขาได้ดำรงตำแหน่งผู้ช่วยอธิบดีกรมสามัญศึกษา และ พ.ศ. 2494 เป็นอธิบดีกรมพลศึกษา[2] พ.ศ. 2504 ถึง 2511 ดำรงตำแหน่งปลัดกระทรวงศึกษาธิการ ภายหลังจากเกษียณอายุราชการแล้ว เขาได้ดำรงตำแหน่งเป็นรัฐมนตรีช่วยว่าการกระทรวงศึกษาธิการ ในพ.ศ. 2513[3] ถึง 2514 และดำรงตำแหน่งรัฐมนตรีว่าการกระทรวงศึกษาธิการ ในพ.ศ. 2515 ถึง 2517[1] ต่อมา ได้รับพระราชทานปริญญาศิลปศาสตร์ดุษฎีบัณฑิตกิตติมศักดิ์จากมหาวิทยาลัยเชียงใหม่[4] นายอภัย ถึงแก่อนิจกรรม เมื่อปี 2536 สิริอายุ 86 ปี